Vào mùa xuân năm 1965, trở về từ một chuyến lưu diễn ở Anh cho phim tài liệu Dont Look Back, Dylan không vui vì sự đón nhận của công chúng ở đây, đồng thời vì hướng đi sự nghiệp của ông, ông đã nghiêm túc xem xét việc giải nghệ. Vào năm 1966, trong một cuộc phỏng vấn với tạp chí Playboy, ông thể hiện sự không hài lòng của mình: "Mùa xuân năm ngoái, tôi nghĩ là mình sẽ phải giải nghệ thôi. Tôi đã kiệt sức, và cái cách mà mọi thứ đang ra đi, thật sự là một hoàn cảnh chán ngắt... Nhưng 'Like a Rolling Stone' đã thay đổi tất cả. Ý tôi là có một vài thứ mà bản thân tôi có thể hiểu rõ được. Thật sự rất mệt mỏi nếu có ai đó nói với bạn rằng họ hiểu rõ bạn hơn cả chính bản thân bạn."[3]

Bài hát được sáng tác dựa trên một số đoạn chép tay của Dylan. Vào năm 1966, Dylan miêu tả cảm hứng gốc của "Like a Rolling Stone" với nhà báo Jules Siegel:

Đó là 7 trang viết dài. Lúc đó nó chưa gọi là gì cả, chỉ là một nhịp điệu trên giấy về lòng hận thù không đổi thay của tôi dẫn đến một số việc rất thật. Và cuối cùng nó chẳng mang sự hận thù gì cả, nó đang kể cho ai đó những thứ mà chính họ cũng không biết, nói cho họ biết rằng họ rất may mắn. Trả thù, đó là một từ hay hơn. Tôi không bao giờ nghĩ nó sẽ trở thành một bài hát, cho đến một ngày tôi ngồi bên cây đàn piano, và tôi nhìn trên tờ giấy mà hát, 'How does it feel?' với một tốc độ chậm rãi, chậm đến tối đa.[4]

Suốt năm 1965, Dylan sáng tác văn xuôi, thơ và các bài hát liên tục bằng máy đánh chữ. Cảnh phim về Dylan trong căn phòng của ông tại khách sạn Savoy Hotel, Luân Đôn, quay cả quá trình làm việc này vào phim tài liệu Dont Look Back. Nhưng ông lại nói với 2 phóng viên rằng "Like a Rolling Stone" bắt đầu là một đoạn dài trong bài thơ của ông (một người thì nói là 10 trang, còn người kia thì nói là 20 trang) rồi sau đó mới chuyển thể thành nhạc.[5] Ông không bao giờ nói về bất cứ ý tưởng sáng tác chính nào trong các cuộc phỏng vấn. Trong một cuộc phỏng vấn với đài CBC radio tại Montreal, Dylan gọi sự sáng tạo của ca khúc là một "bước đột phá", giải thích rằng nó đã thay đổi nhận thức của ông về con đường sự nghiệp mà ông đã đi. Ông nói rằng ông đã tìm được chính mình khi viết "đoạn thơ dài ngẫu hứng này, 20 trang, hơn nữa tôi đã viết nên 'Like a Rolling Stone' và nó trở thành một đĩa đơn. Tôi chưa bao giờ viết bất cứ thứ gì giống vậy và bỗng nhiên nó đến với tôi như một điều mà tôi nên làm... Sau khi viết xong tôi cảm thấy không hứng thú để viết tiểu thuyết, hay viết kịch nữa. Tôi đã làm được nhiều rồi, tôi muốn viết những bài hát."[6]

Từ đoạn chép tay trên giấy, Dylan đã cô đọng thành bốn đoạn và đoạn điệp khúc tại Woodstock, New York.[7] Ca khúc được viết với đàn piano đứng (upright piano), giọng Son thăng và đổi thành giọng Đô trưởng khi chơi ghita trong phòng thu âm.[8] Dylan đã mời Mike Bloomfield, nhạc công ghita chính trong ban nhạc Paul Butterfield Blues Band, để chơi bản thu âm chính thức. Khi được hỏi về lời mời của Dylan đến thăm nhà ở Woodstock vào cuối tuần để chơi bản nhạc mới, Bloomfield nhớ lại và kể rằng: "Thứ đầu tiên mà tôi nghe là 'Like a Rolling Stone'. Tôi nghĩ anh ta muốn một chút blues kết hợp với uốn dây (pending), bởi vì đó là những gì tôi có thể làm. Anh ấy nói 'Này, anh bạn, tôi không muốn bất cứ cái gì giống B.B. King cả'. Vì vậy, OK, tôi thật sự cảm thấy lạc lõng. Anh ta muốn cái chết tiệt gì vậy? Chúng tôi cùng nhau làm việc với bài hát. Tôi đàn theo cách mà anh ta chỉ định, và anh ta còn nói điều đó thật hấp dẫn."[9]

Quá trình ghi âm được Tom Wilson chịu trách nhiệm vào 2 ngày 15–16 tháng 6 năm 1965, tại Studio A of Columbia Records, 799 Seventh Avenue, New York.[1][10][11] Ngoài Bloomfield, còn có các nhạc sĩ khác cũng sẵn sàng tham gia ghi âm như Paul Griffin chơi piano, Joe Macho, Jr. chơi bass, Bobby Gregg đánh trống và Bruce Langhorne chơi trống lục lạc,[11] tất cả đều được Wilson ghi lại. Gregg và Griffin đã từng làm việc với Dylan và Wilson trong Bringing It All Back Home.[12]

Vào ngày đầu tiên, năm người chơi nhạc đều thu âm theo nhiều phong cách khác nhau rõ rệt và sau cùng dự định phát hành theo nhịp 3/4, Dylan chơi piano. Việc không có bản nhạc đồng nghĩa với việc họ hoàn toàn chơi nhạc bằng cảm âm. Tuy nhiên, bản chất của ca khúc cuối cùng cũng được phát hiện sau nhiều quá trình tổng hợp và thu âm. Họ không thấy được điều đó khi chơi đoạn điệp khúc đầu tiên cho đến đoạn thứ tư, sau khi tiếng harmonica bị Dylan ngắt quãng, ông nói, "Tôi bị lạc giọng rồi, anh bạn. Các anh muốn thử lại lần nữa không?"[13] Và phiên bản waltz này đã được phát hành trong album The Bootleg Series Volumes 1-3 (Rare & Unreleased) 1961-1991.[13][14] Và buổi ghi âm kết thúc nhanh chóng.[15]

Trong buổi ghi âm vào ngày tiếp theo, ngày 16 tháng 6, Al Kooper cũng tham gia. Kooper, vào thời điểm đó là một tay chơi ghita 21 tuổi,[16] anh ta vốn không có nhiệm vụ gì nhưng được giới thiệu là một khách mời của Wilson.[17] Khi Wilson bước ra, Kooper ngồi xuống với cây đàn ghita và chơi nhạc cùng các nghệ sĩ khác, anh ấy đã hy vọng được tham gia và buổi ghi âm.[18] Lúc Wilson trở lại, Kooper đã bị Bloomfield đe dọa, và trở lại phòng điều khiển. Sau khi cặp đôi này diễn tập, Wilson chuyển vị trí của Griffin từ chơi Hammond organ sang chơi piano.[18] Kooper đi đến chỗ Wilson, nói rằng anh ta có thể làm tốt phần đàn organ. Wilson đã xem thường khả năng chơi organ của Kooper, nhưng vì sau đó Kooper lên tiếng, "Anh ta chỉ cố giễu cợt tôi... Anh ta đâu có nói 'không'—nên tôi mới rời khỏi đây." Wilson rất ngạc nhiên về cách đánh organ của Kooper, và cho phép anh ta chơi nhạc ở vị trí đó. Khi được nghe ca khúc hoàn chỉnh, Dylan đã đề nghị Kooper vặn to âm thanh phần organ. Wilson trả lời: "Này, anh ta không phải là một tay chơi organ đâu", Dylan mệt mỏi nói: "Này, đừng bận tâm về việc ai là tay chơi organ,... Cứ giữ phần đàn organ." Kooper sau đó nói: "Đây là thời điểm mà tôi đã chính thức trở thành một nhạc công organ."[19]

Buổi ghi âm này phải làm đi làm lại đến 15 lần.[20] Định dạng mà chúng ta biết đến hiện nay của bài hát thuộc nhịp 4/4 kèm theo tiếng đàn ghita điện của Dylan. Sau khi thêm 4 lần thử nữa, cuối cùng ca khúc cũng quyết định được phát hành thành đĩa đơn.[21]—Wilson bày tỏ sự vui mừng, "Tôi thấy hay rồi mà."[22] Tuy nhiên, Dylan và ban nhạc khăng khăng ghi âm thêm 11 lần nữa.[23]